Hadoop |
您所在的位置:网站首页 › hbase 归档冷数据 › Hadoop |
六、Move迁移数据
Mover 是 HDFS 的一个数据迁移工具,类似 Balancer. 区别在于,Mover 的目的是把数据块按照存储策略迁移,Balancer 是在不同 DataNode 直接进行平衡。 如果 DataNode 挂载了多种存储类型,Mover 优先尝试在本地迁移,避免网络 IO. 使用方式: hdfs mover -p ,如果想一次性迁移所有数据,可把 path 指定为根路径,不过需要的时间也更长。 七、HDFS 社区版存在问题: 对存量数据处理的支持不好。设置数据的 Storage Policies 属性后,只对新写入的数据有效。对于存量数据,系统并不能将其自动移动到对应的存储介质上。 HDFS 提供了一个外置工具 mover,可以把数据移动到正确的位置,但 mover 也不能确保调用后会把所有的数据都移动过去。 没有提供冷数据分析方案。 没有提供把远程存储设备(譬如 S3)mount 到 DataNode 上作为存储类型的方案。 八、HBase利用HDFS异构存储特性 HBase 资源隔离 + 异构存储。SATA 磁盘的随机 iops 能力,单次访问的 RT,读写吞吐上都远远不如 SSD,那么对 RT 极其敏感业务来说,SATA 盘并不能胜任,所以我们需要 HBase 有支持 SSD 存储介质的能力。 为了 HBase 可以支持异构存储,首先在 HDFS 层面就需要做响应的支持,在 HDFS 2.6.x 以及之后的版本,提供了对 SSD 上存储文件的能力, 换句话说在一个 HDFS 集群上可以有 SSD 和 SATA 磁盘并存,对应到 HDFS 存储格式为 [ssd] 与 [disk]。 存储架构添加 SSD 磁盘之后,HDFS 集群存储架构示意图: HBase实现异构wal存储很简单,底层依赖的就是hdfs的异构storage策略,不过是将wal文件所在的目录经反射调用dfs client的setStoragePolicy方法设置为用户指定的policy。 具体的配置策略如下:在 hdfs-site.xml 中修改: hbase.wal.storage.policy ONE_SSD该配置的默认值是NONE,也就是wal文件和数据都存储在DISK上,不做区分。 可以修改为ONE_SSD或者ALL_SDD,不同在于: ONE_SSD:wal的一个副本置于SSD上,而其他副本仍然在默认存储; ALL_SSD:wal文件的所有副本都存储于SSD盘上; 将表的指定列族数据存储在SSD盘中在HBASE-14061之后,我们支持通过 hbase.hstore.block.storage.policy 配置,我们支持CF级别设置来覆盖配置文件中的设置。 例如,要创建具有两个系列的表:具有“ ALL_SSD”存储策略的“ cf1”和具有“ ONE_SSD”的“ cf2”,我们可以在hbase shell中使用以下命令: create 'table',{NAME=>'f1',STORAGE_POLICY=>'ALL_SSD'},{NAME=>'f2',STORAGE_POLICY=>'ONE_SSD'}我们还可以像其他所有配置一样在table属性中设置配置: create 'table',{NAME=>'f1',CONFIGURATION=>{'hbase.hstore.block.storage.policy'=>'ONE_SSD'}}
|
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |